Сергей Титов - Естествознание. Базовый уровень. 11 класс

Поскольку в двоичной системе существует всего две цифры, то при решении какой-либо задачи требуется на каждом шагу рассуждения или вычисления выбирать один из двух одинаковых вариантов, т. е. тратить информацию, равную одному биту. А так как количество возможных вариантов решения возрастает значительно быстрее, чем число сделанных шагов, то, используя сравнительно небольшое количество двоичных действий, можно осуществить выбор из огромного числа разнообразных решений или комбинаций. Именно на этом принципе строится работа современных компьютеров.

1. Как зависит энтропия незнания ответа на какой-либо вопрос от того, насколько равны вероятности всех возможных ответов на него?

2. Как изменяется величина информации с ростом числа возможных ответов на интересующий нас вопрос?

3. Чем различается написание чисел в десятичной и двоичной системах?

1. Подсчитайте, сколько вопросов, допускающих ответы «да» или «нет», требуется задать для того, чтобы установить одного из жителей города с населением 65 тыс. человек.

2. Выразите номер этого параграфа в двоичной системе.

§ 12 Ценность и избыточность информации

…Нелегко с Кощеем сладить: смерть его на конце иглы, та игла в яйце, то яйцо в утке, та утка в зайце, тот заяц в сундуке, а сундук стоит на высоком дубу, и то дерево Кощей как свой глаз бережёт.

Используя уравнения теории информации, мы можем вычислить, какое количество информации содержится в полученном сообщении. Но оценив значение информации в нашей жизни и в окружающем нас мире, мы увидим, что это количество далеко не всегда определяет важность, ценность или полезность этого сообщения. Предположим, вы претендуете на престижное место работы или на место для обучения в известном университете. После предварительного отбора вы становитесь одним из двух претендентов на это место, причём шансы у обоих приблизительно равны. Вы переживаете и не даёте себе покоя в течение нескольких дней и наконец получаете сообщение, в котором говорится, что вы приняты. Это сообщение радикально меняет вашу жизнь, вашему счастью нет предела… А сейчас задумайтесь, сколько информации оно вам принесло. Всего один бит. Теперь представьте себе, что вы уронили монету и, перед тем как её поднять, заметили, что она лежит цифрой кверху. Это наблюдение принесло вам один бит информации, т. е. ровно столько же, сколько в предыдущем случае.

Но согласитесь, что оценка и последствия двух этих событий между собой несоизмеримы.

Поэтому в современной информатике помимо количества информации рассматривается её ценность. Ценность информации зависит от цели, которую преследует получатель этой информации. Если цель наверняка достижима, то можно определить ценность информации в соответствии с тем, насколько она уменьшает усилия или время, требуемые для достижения этой цели. Такой ценностью обладает информация, содержащаяся в поисковых системах, справочниках и каталогах. Если же достижение цели необязательно, то, для того чтобы определить ценность информации, можно воспользоваться такой формулой:

V = (P – p)/(1 – p).

В этой формуле V означает ценность информации, p – вероятность достижения цели до получения информации, а P – после её получения. Если после того, как вы получили сообщение, вы наверняка достигнете цели, то P = 1 и ценность полученной информации равна единице, т. е. своему наибольшему значению. Если же после этого сообщения вероятность достижения цели не изменилась, то P = p и ценность сообщения равна нулю.

Ценность информации далеко не всегда зависит от её количества. Предположим, что вам предложено решить тестовое задание, где из четырёх возможных ответов требуется выбрать один верный. Узнав ответ, вы получите информацию, величина которой равна 2 битам, а ценность – единице. Если же вам предложат выбор из шестнадцати вариантов, то в этом случае правильный ответ принесёт вам 4 бита, а ценность полученной информации останется прежней, так как и в том и в другом случае вы в результате достигаете поставленной цели – справиться с заданием. Информацию, которая не содержит никакой ценности, называют шумом. Одна и та же информация может обладать различной ценностью. Так, если по телевизору передают репортаж о спортивном состязании, то для зрителя, интересующегося спортом и болеющего за одну из играющих команд, получаемая информация представляет огромную ценность, тогда как для его соседа, думающего о чём-либо другом или читающего книгу, репортаж представляется шумом.

Важной характеристикой информации служит её избыточность. Избыточная информация присутствует практически в любом тексте. Изначально избыточность текста появляется из-за того, что вероятность встречаемости букв в алфавите русского, как и любого другого, языка неодинакова. Если проанализировать встречаемость различных букв в русском тексте, то мы увидим, что в половине случаев мы обнаружим буквы О, Е, А, И, Т, Р или Н, и меньше 5 % придётся на долю букв Ю, Ж, Х, Щ, Ф, Ш, Э, Ц, И, Ъ. С учётом неравномерной встречаемости букв энтропия алфавита русского языка равна не 5 битам, а всего 4,39 бита. Отношение максимальной энтропии к реальной и определяет её избыточность.

В действительности избыточность языка оказывается ещё большей из-за того, что в языке существуют устойчивые пары или тройки сочетаний букв, вероятность появления которых значительно больше, чем у других сочетаний. Если учесть вероятность появления различных сочетаний двух букв, то энтропия становится равной 3,52, а при учёте вероятности сочетаний трёх букв – 3,05 бит/букву[5]. Благодаря этому часто даже при потере значительной части букв текст удаётся восстановить, т. е. извлечь из него всю изначально содержащуюся информацию. Классический пример можно найти в книге Жюля Верна «Дети капитана Гранта». В записке, которую извлекли из желудка акулы, было смыто морской водой 170 букв из 250. Паганель не смог полностью расшифровать испорченный текст, но ему удалось извлечь из него достаточно информации, чтобы после нескольких попыток найти потерявшуюся экспедицию. Тексты с меньшим числом потерянных знаков часто можно восстановить полностью.

Допустим, вам встретилось слово, в котором есть такое сочетание: «Б, затем утерянный знак, затем Ф». Восстановить это испорченное слово будет не так уж трудно. Скорее всего, в голову придёт что-то съедобное: «бифштекс», «ростбиф», «бефстроганов» или «буфет»; может быть, вспомните ещё «буфер», а вот дальше у вас начнутся затруднения. Набор будет очень ограничен ещё из-за того, что буква «Ф» в русском языке встречается очень редко, практически только в словах, заимствованных из других языков. Но и при более простых сочетаниях восстановить текст нетрудно в том случае, когда небольшая его часть утрачена. Особенно просто это сделать с текстом, в котором содержатся знакомые, часто употребляемые выражения. Сможете ли вы, например, прочитать такое объявление:

«До..лни…ь.ые к.н.уль.а..и п. м…ма..ке .у..т пр.в..ить.я в. …рник .осл. пя..г. ур..а»?

Из этого объявления «выпала» почти половина знаков, и тем не менее нетрудно восстановить его полный текст[6].

Различные виды текстов обладают различным количеством избыточной информации. Если вспомнить, что мерой величины информации служит её неожиданность, то часто можно услышать или прочесть в сети тексты, содержащие практически нулевую информацию. Вот типичный пример:

– Привет!

– Привет!

– Ну как ты?

– Нормально. А ты?

– И я нормально.

– Ну, хорошо. А я вот иду, смотрю, ты тут стоишь.

– Ну да. Ну что, пока?

– Пока. Ну, я пошла.

Часто большой избыточной информацией обладают художественные, особенно поэтические тексты. У некоторых поэтов-авангардистов встречаются тексты, абсолютно лишённые какого-либо смысла, где вся информация основана только на грамматических связях. Вот отрывок из произведения русского поэта начала прошлого века Велимира Хлебникова:

«Хатославль песен певучего слога, старомилы, шкурники, баромилые годы, брюхомолы, особая порода самобожеств, пузомолы, брюховеры, смежни зарёю главной, мозговеры».

Каждая ситуация, каждый текст требуют своего уровня избыточной информации. Преимуществом избытка информации может быть либо эстетическое качество художественного произведения, либо его лучшее понимание. Если бы тексты не содержали избыточной информации, их восстановление после повреждения стало бы невозможным.

Рис. 21. Сообщения, не содержащие избыточной информации